Adaptation of scalable multimedia documents

Several scalable media codecs have been standardized in recent years to cope with heterogeneous usage conditions and to aim at always providing audio, video and image content in the best possible quality. Today, interactive multimedia presentations are becoming accessible on handheld terminals and face the same adaptation challenges as the media elements they present: quite diversified screen, memory and processing power capabilities. In this paper, we address the adaptation of multimedia documents by applying the concept of scalability to their presentation. The Scalable MSTI document model introduced in this paper has been designed with two main requirements in mind. First, the adaptation process must be simple to execute because it may be performed on limited terminals in broadcast scenarios. Second, the adaptation process must be simple to describe so that authored adaptation directives can be transported along with the document with a limited bandwidth overhead. The Scalable MSTI model achieves both objectives by specifying Spatial, Temporal and Interactive scalability axes on which incremental authoring can be performed to create progressive presentation layers. Our experiments are conducted on scalable multimedia documents designed for Digital Radio services on DMB channels using MPEG-4 BIFS and also for web services using XHTML, SVG, SMIL and Flash. A scalable image gallery is described throughout this article and illustrates the features offered by our document model in a rich multimedia example

A Comparative Case Study of HTTP Adaptive Streaming Algorithms in Mobile Networks

HTTP Adaptive Streaming (HAS) techniques are now the dominant solution for video delivery in mobile networks. Over the past few years, several HAS algorithms have been introduced in order to improve user quality-of-experience (QoE) by bit-rate adaptation. Their difference is mainly the required input information, ranging from network characteristics to application-layer parameters such as the playback buffer. Interestingly, despite the recent outburst in scientific papers on the topic, a comprehensive comparative study of the main algorithm classes is still missing. In this paper we provide such comparison by evaluating the performance of the state-of-the-art HAS algorithms per class, based on data from field measurements. We provide a systematic study of the main QoE factors and the impact of the target buffer level. We conclude that this target buffer level is a critical classifier for the studied HAS algorithms. While buffer-based algorithms show superior QoE in most of the cases, their performance may differ at the low target buffer levels of live streaming services. Overall, we believe that our findings provide valuable insight for the design and choice of HAS algorithms according to networks conditions and service requirements.Comment: 6 page

Spatial scene adaptation in broadcast environment

The heterogeneity of handheld terminals in terms of screen resolution, processing capabilities or available decoding memory is a challenge for multimedia services that have been tackled by many scene adaptation techniques so far. In broadcast environment, the adaptation intelligence must be transmitted along with the content and may induce critical costs that must be minimized. In this paper, we propose a broadcast-friendly adaptation technique of the spatial layout of multimedia content based on the use of incremental scene updates. The advantages of our approach have been evaluated on a T-DMB digital radio service and compared to other adaptation techniques applicable to broadcasted multimedia services. Experimental results show that fine-grained spatial adaptation on constrained handheld terminals can successfully be achieved through adaptation scene updates with a limited bandwidth overhead

Streaming SVG animations on the Web

International audienc

Descriptions de scènes multimédia : représentations et optimisations

Avec les progrès technologiques en matière de débits disponibles et la diversification des média disponibles, l'enjeu est maintenant de diffuser aux utilisateurs des médias de qualité dans une présentation cohérente, attractive et interactive, qu'elle soit destinée au monde de la télévision numérique, de l'Internet ou de la téléphonie mobile. Les descriptions de scènes multimédia tentent de répondre à ce pari. Le pari consiste en effet à développer des technologies permettant la diffusion et la présentation de contenu multimédia riche, animé, interactif dans des environnements aux contraintes multiples. Il faut des technologies suffisamment simples pour être intégrées dans des terminaux à faible coût de revient, mais également suffisamment attractives pour attirer de nouveaux consommateurs. Ensuite, même si les débits augmentent et les techniques de compression s'améliorent, la plus grande partie des "tuyaux" est encore occupée par les média traditionnels (audio, vidéo). Il faut donc que ces nouvelles technologies n'occupent pas trop de bande passante. Enfin, pour qu'elles mènent à de nouveaux usages, il faut que les créateurs de contenu se les approprient et pour cela, il faut que les présentations multimédia soient faciles à créer, quel que soit le scénario d'utilisation. Cette thèse a pour objectif dans un premier temps de mener une réflexion sur les différentes représentations de scènes multimédias existantes et d'en proposer une synthèse. Cette synthèse propose une vue générale sur les langages, les formats de représentation des descriptions de scènes ainsi que sur les techniques de codage et les traitements appliqués aux scènes multimédia. Elle présente, en particulier, les problématiques liées à l'animation, la compression, l'interactivité, la diffusion et finalement à la présentation. Dans un second temps, elle propose des améliorations aux solutions existantes. Ces propositions sont doubles. Tout d'abord, cette thèse propose d'un ensemble de méthodes pour permettre la représentation efficace de scènes multimédia fortement animées, notamment pour les formats de représentations MPEG-4 BIFS, W3C SVG et MPEG-4 LASeR, et avec la prise en compte des contraintes de la diffusion sur téléphone mobile. Ensuite, cette thèse propose une architecture et une implémentation innovante d'un lecteur de scènes permettant la lecture de contenus multimédia sur terminaux contraints grâce au respect d'un compromis entre consommation mémoire et rapidité d'exécution. Cette thèse se conclut, après avoir rappelé les contraintes du monde mobile, par une synthèse des choix technologiques à faire, dans la vaste bibliothèque d'outils disponibles dans le domaine des descriptions de scènes, pour concevoir un service multimédia pour mobiles

ISOBMFF at DVB

International audienc

MP4Box.js, a GPAC development

International audienc

Packaging web graphics and media for easier internet delivery

International audienc

Producing media content for the browsers using GPAC

International audienc